大家好，我是毛毛。
今天是Day 13。
今天要來看看論文是怎麼做的~ ヽ(✿ﾟ▽ﾟ)ノ

Reinforcement learning-based QoS/QoE-aware service function chaining in software-driven 5G slices

這篇是2018年七月刊登在Trans. Emerg. Telecommun. Technol.上的論文。

這篇論文的背景是在說，在4G網路的環境中，隨著連上網路的設備跟應用程式的增加，這使得網路供應商在CAPEX和OPEX的支出上有很大的壓力；因此在那個時候有很多的公司、機構和團體開始在發展5G，而5G網路中的關鍵技術，就是前面有介紹過的SDN與NFV。

透過SFC，也是就是串連起來的VNF，可以提供給網路使用者不同的網路需求，而這篇作者有提到在SFC的編排上，也就是SFC的配置問題，他認為有三個面向要滿足，原文如下：

1. A smart orchestration agent that is adaptive to the changing environment so that it can learn to approximate the optimal SFC orchestration policy with minimal human interference for automation purpose.
2. A lightweight mechanism to evaluate the QoS/QoE of a service function chain in changing environments so that the agent can learn to maximize user experience, which is the key factor for 5G user subscriptions.
3. The ability to explore VNF alternatives that can potentially orchestrate the chain (eg, for the purpose of load balancing), while exploiting the best VNF instances to optimize QoE.

而強化學習剛好可以滿足這三個面向：

• Trial-and-error mechanism(for 1)
• Reward mechanism (for 2)
• Exploration-exploitation ability (for 3)

因此強化學習就成了SFC編排上的候選人，也是這邊選擇用強化學習的原因。

SFC的品質通常是依據成本跟效用來做評判，而成本與效用通常會取決與Quality of Service（QoS）的指標，像是頻寬、延遲和吞吐量。然後在這篇論文中討論的不只是QoS還有Quality of Experience（QoE），作者加入QoE的原因是QoS和QoE之間是呈現非線性的關係，因此QoS滿足的情況下並不代表能滿足QoE，所以需要特別考慮QoE。

這篇論文的方法就留到明天在打啦~
大家明天見